Les utilisateurs sont-ils de plus en plus durs?
Toutes les données ont été récuppérées sur Metacritic dans la dernière semaine de Février 2023.
On regardera les consoles suivantes :
And further data manipulations. We will add some meaningful columns to the data frames (see comments in the code).
On crée df_games2 qui ne contient que les jeux ayant à la fois une note globale utilisateur et une note globale de critique
We create df_games2 that only has games that have both a official critic and a user score.
| title | platform | developer | genre | rating | release_date | meta_score | meta_overview | meta_pos | meta_mixed | ... | user_neg | n_user_score | real_date | meta_count | user_count | ratio | offset | month | year | first_release | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 1001 Spikes | Wii U | Nicalis | [Action, 2D, General, Platformer] | T | 2014-06-03 | 83 | Generally favorable reviews | 5 | 1 | ... | 6.0 | 70.0 | 2014-06-03 | 6 | 23.0 | 3.833333 | 13.0 | 6 | 2014 | 2014-06-03 |
| 5 | 3Souls | Wii U | Red Column | [Action, 2D, Platformer, Action Adventure] | E10+ | 2016-07-28 | 49 | Generally unfavorable reviews | 0 | 3 | ... | 1.0 | 69.0 | 2016-07-28 | 4 | 7.0 | 1.750000 | -20.0 | 7 | 2016 | 2016-07-28 |
| 12 | A World of Keflings | Wii U | NinjaBee | [ Breeding/Constructing, Management, General... | E10+ | 2014-11-13 | 70 | Mixed or average reviews | 3 | 1 | ... | 1.0 | 76.0 | 2014-11-13 | 5 | 7.0 | 1.400000 | -6.0 | 11 | 2014 | 2014-11-13 |
| 14 | Abyss | Wii U | EnjoyUp Games | [Action, 2D, General, Platformer] | E | 2014-05-01 | 59 | Mixed or average reviews | 0 | 6 | ... | 2.0 | 65.0 | 2014-05-01 | 7 | 12.0 | 1.714286 | -6.0 | 5 | 2014 | 2014-05-01 |
| 18 | Adventure Time: Explore the Dungeon Because I ... | Wii U | WayForward | [ Fantasy, General, Action Adventure] | E10+ | 2013-11-19 | 40 | Generally unfavorable reviews | 0 | 2 | ... | 11.0 | 57.0 | 2013-11-19 | 7 | 26.0 | 3.714286 | -17.0 | 11 | 2013 | 2013-11-19 |
| ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
| 31122 | Zombie Army Trilogy | Xbox One | Rebellion | [Action, Shooter, Third-Person, Arcade] | M | 2015-03-06 | 62 | Mixed or average reviews | 2 | 7 | ... | 10.0 | 69.0 | 2015-03-06 | 10 | 53.0 | 5.300000 | -7.0 | 3 | 2015 | 2015-03-03 |
| 31127 | Zombie Driver: Ultimate Edition | Xbox One | EXOR Studios | [Action, Combat, General, Simulation, Vehi... | M | 2014-06-24 | 61 | Mixed or average reviews | 1 | 3 | ... | 5.0 | 61.0 | 2014-06-24 | 4 | 20.0 | 5.000000 | 0.0 | 6 | 2014 | 2014-06-24 |
| 31143 | Zoo Tycoon | Xbox One | Frontier Developments | [ Strategy, Management, Tycoon, Business / T... | E | 2013-11-22 | 68 | Mixed or average reviews | 12 | 32 | ... | 210.0 | 32.0 | 2013-11-22 | 45 | 323.0 | 7.177778 | 36.0 | 11 | 2013 | 2013-11-22 |
| 31144 | Zoo Tycoon: Ultimate Animal Collection | Xbox One | Asobo Studio | [ Management, Compilation, Miscellaneous, B... | E | 2017-10-31 | 70 | Mixed or average reviews | 2 | 4 | ... | 7.0 | 58.0 | 2017-10-31 | 6 | 20.0 | 3.333333 | 12.0 | 10 | 2017 | 2017-10-31 |
| 31146 | Zumba Fitness World Party | Xbox One | Zoe Mode | [ Exercise / Fitness, Miscellaneous] | E | 2013-11-19 | 73 | Mixed or average reviews | 3 | 2 | ... | 15.0 | 62.0 | 2013-11-19 | 5 | 40.0 | 8.000000 | 11.0 | 11 | 2013 | 2013-11-05 |
7377 rows × 25 columns
df_meta2 holds "official" critics published on metacritic. One row per game, per platform, per critic.
| score | critic | date | title | platform | real_date | offset | avg_score | avg_offset | num_critics | |
|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 95.0 | Destructoid | Jun 8, 2014 | 1001 Spikes | Wii U | 2014-06-08 | 13.0 | 72.100785 | 3.524215 | 1528 |
| 1 | 90.0 | FNintendo | Nov 5, 2015 | 1001 Spikes | Wii U | 2015-11-05 | 13.0 | 68.368870 | 0.206823 | 938 |
| 2 | 80.0 | NintendoWorldReport | Jun 20, 2014 | 1001 Spikes | Wii U | 2014-06-20 | 13.0 | 74.735407 | 1.844019 | 2090 |
| 3 | 80.0 | Nintendo Life | Jun 11, 2014 | 1001 Spikes | Wii U | 2014-06-11 | 13.0 | 72.683240 | 1.677240 | 2333 |
| 4 | 77.0 | Kill Screen | Jul 1, 2014 | 1001 Spikes | Wii U | 2014-07-01 | 13.0 | 67.991453 | 4.547009 | 117 |
| ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
| 137670 | 80.0 | Worth Playing | Jan 6, 2014 | Zumba Fitness World Party | Xbox One | 2014-01-06 | 11.0 | 75.953782 | 5.460504 | 1190 |
| 137671 | 80.0 | Hardcore Gamer | Nov 24, 2013 | Zumba Fitness World Party | Xbox One | 2013-11-24 | 11.0 | 74.517601 | 5.492177 | 1534 |
| 137672 | 75.0 | Official Xbox Magazine | Nov 22, 2013 | Zumba Fitness World Party | Xbox One | 2013-11-22 | 11.0 | 71.621622 | 8.459459 | 37 |
| 137673 | 72.0 | IGN | Jan 10, 2014 | Zumba Fitness World Party | Xbox One | 2014-01-10 | 11.0 | 75.502010 | 6.872487 | 1741 |
| 137674 | 60.0 | Game Revolution | Dec 5, 2013 | Zumba Fitness World Party | Xbox One | 2013-12-05 | 11.0 | 73.467204 | 5.296893 | 869 |
137675 rows × 10 columns
The df_critic2 table holds information about critics.
| critic | avg_score | avg_offset | num_critics | |
|---|---|---|---|---|
| 0 | Nintendo Life | 72.683240 | 1.677240 | 2333 |
| 1 | God is a Geek | 75.959801 | 5.449864 | 2214 |
| 2 | COGconnected | 75.983341 | 5.907450 | 2161 |
| 3 | Vandal | 76.605680 | 4.445531 | 2148 |
| 4 | NintendoWorldReport | 74.735407 | 1.844019 | 2090 |
| ... | ... | ... | ... | ... |
| 322 | Cynamite | 90.000000 | 3.000000 | 1 |
| 323 | IncGamers | 80.000000 | 0.000000 | 1 |
| 324 | Hooked Gamers | 79.000000 | 22.000000 | 1 |
| 325 | Glixel | 80.000000 | 8.000000 | 1 |
| 326 | Gamereactor Norway | 80.000000 | 14.000000 | 1 |
327 rows × 4 columns
Finalement, une table des développeurs
| developer | avg_offset | num_games | avg_meta | avg_user | avg_ratio | |
|---|---|---|---|---|---|---|
| 0 | 100 Stones Interactive | -6.000000 | 1 | 75.000000 | 81.000000 | 1.400000 |
| 1 | 10tons | 1.533333 | 15 | 67.666667 | 66.133333 | 1.082540 |
| 2 | 10tons Entertainment, 10tons | -1.600000 | 5 | 66.000000 | 67.600000 | 1.356099 |
| 3 | 10tons Entertainment, 10tons Ltd, 10tons | 3.000000 | 1 | 65.000000 | 62.000000 | 0.600000 |
| 4 | 10tons Ltd, 10tons | 9.000000 | 3 | 66.000000 | 57.000000 | 3.943386 |
| ... | ... | ... | ... | ... | ... | ... |
| 2655 | tinyBuild | 2.333333 | 9 | 62.222222 | 59.888889 | 3.191463 |
| 2656 | tinyBuild, Do My Best Games | 5.500000 | 2 | 69.000000 | 63.500000 | 2.863636 |
| 2657 | tobyfox, 8-4 | 15.500000 | 2 | 92.500000 | 77.000000 | 58.055556 |
| 2658 | ustwo | 4.000000 | 1 | 80.000000 | 76.000000 | 1.857143 |
| 2659 | yeo | -1.000000 | 1 | 64.000000 | 65.000000 | 3.375000 |
2660 rows × 6 columns
C'est sur ce dernier ensemnble que nous allons faire nos constats.
Par curiosité, on peut voir le cycle de vie des différentes plateformes, en regardant le nombre de jeux sortis par année. On regarde d'abord le nombre de fiches sur MC pour cette plateforme, par année, puis le nombre de fiches ayant des notes critiques et utilisateurs (donc encore une fois celles sur lesquelles on va pouvoir faire notre enquête plus poussée)
Juste pour s'amuser : à quoi resemble le cycle de sortie au cours d'une année (i.e on regarde le nombre de jeux sortis par mois, toutes années confondues, par console)
Ici un graphe qui montre la distribution des scores Meta pour chaque console. Ça se ressemble. Seule petite tendance qui se dégage : les consoles les plus récentes (Series X et PS5) ont une distribution de notes favorisant les notes hautes (sans doutes que le shovelware n'est pas encore arrivé !). (Pour information, la limite droite de chaque boite indique le 3ème quartile, c'est à dire que 25% des notes sont supérieures)
Regardons maintenant les notes utilisateurs moyenne pour chaque jeu de chaque plateforme. On voit que ça tire bien plus vers le bas !
Et représentons maintenant, pour chaque console, les distributions de notes Meta et des notes utilisateurs côte à côte pour se rendre compte de la situation... On dirait que plus la console est récente, plus les notes sont sévères. Ou alors les consoles nintendo sont relativement épargnées.
On voit notamment pour chaque console Sony et Microsoft que la médiane des notes utilisateur (le trait horizontal dans chaque boîte) est bien plus bas que pour les notes Méta.
Si l'on regarde, toutes consoles confondues, comment sont réparties les notes utilisateur moyennes et les notes MC moyennes pour chaque jeu, on voit deux distributions qui apparaissent décalées. On remarque aussi quelques points d'accumulation - par exemple la note "50%" semble souvent utilisée par la utilisateurs, mais pas spécialement par la critique. La note de 80% est aussi populaire chez les deux, et c'est d'ailleurs la plus courante pour les notes MC.
On affiche la distribution des ratios "nombre de critiques / nombre de revues utilisateur". On voit que la grande majorité des ratio est inférieure à 1, montrant qu'il y a plus de participation des utilisateurs. On pourrait parler du pic de la distribution (du mode) pour avoir une idée du ratio moyen.
Ça penche à !droite Ça qui confirme ce qu'on a vu avant - il y a plus de jeux qui sont surestimés par la critique que l'inverse. Les notes utilisateurs sont en moyenne inférieur aux notes Critique.
Regardons maintenant par jeu. Ça risque d'être touffu, mais voici comment nous allons représenter cela.
Chaque point du graphe représente une jeu, sur une platefome.
La ligne grise représente X=Y, c'est à dire que si un jeu a la même note utilisateur que critique, alors il sera sur cette ligne.
Ainsi, si un jeu a une note utilisateur inférieure à la note critique, il va se retrouver en dessous de la ligne blanche (et si c'est l'inverse, autrement dit les utilisateurs ont été plus généreux que les critiques, il sera au dessus de cette ligne blanche).
Comme attendu, on a plus de jeux en dessous qu'au dessus.
Intéressant aussi de regarder comment cela change en fonction des plateformes.
Enfin, j'ai ajouté une information : la taille du cerle représente le ratio entre le nombre de critique utilisateur et le nombre de critiques méta. Ce ratio est égal à 1 si on a le même nombre, et sera supérieur à 1 si il y a plus d'utilisateurs ayant laissé une note qu'il y a de notes de critiques. Le but de ce cercle est de montrer les cas de "review bombing", i.e. quand une armée d'utilisateurs se mettent à faire la revue d'un jeu.
Voici d'ailleurs comment sont repartis les ratio : en général, on est proche de 1, mais il y a toute une franche de revue où les utilisateurs s'en sont donnés à coeur joie.
On affiche maintenant le même graphe mais pour les notes utilisateurs. Comme on pouvait s'y attendre, les notes sont plus basses en moyenne.
En revanche, ce graphe montre quelque chose de fascinant : les points qui surnagent au dessus de la mélée sont des jeux assez... particuliers. On voit que ce n'est que pour certains jeux ou certaines séries (Dynasty Warrior par exemple) que les utilisateurs se donnent la peine de faire du bruit sur MC.
Et voici un graphe de tous les jeux en fonction de leur offset, au cours du temps.
En rouge, une droite de regression qui indique une tendance au cours du temps : la valeur du offset augmente (ce que montrait plus simplement le graphe précédent). En passant le curseur sur les points, on peut voir de quel jeu il s'agit.
Et voici la synthèse - évolution de l'offset moyen, tous jeux comfondus, par année.
On a vu dans les graphes précédents que ce paramêtre dépendait beaucoup des plateformes et du cycle de vie de ces dernières. On observe bien une tendance vers l'augmentation de ce derniers - i.e. des scores utilisateurs moyens qui ont tendance à être plus sévères que les scores des critiques.
Comme le montre la table ci dessous, nous avons 327 critiques officielles ayant émis au moins un avis
| critic | avg_score | avg_offset | num_critics | |
|---|---|---|---|---|
| 0 | Nintendo Life | 72.683240 | 1.677240 | 2333 |
| 1 | God is a Geek | 75.959801 | 5.449864 | 2214 |
| 2 | COGconnected | 75.983341 | 5.907450 | 2161 |
| 3 | Vandal | 76.605680 | 4.445531 | 2148 |
| 4 | NintendoWorldReport | 74.735407 | 1.844019 | 2090 |
| ... | ... | ... | ... | ... |
| 322 | Cynamite | 90.000000 | 3.000000 | 1 |
| 323 | IncGamers | 80.000000 | 0.000000 | 1 |
| 324 | Hooked Gamers | 79.000000 | 22.000000 | 1 |
| 325 | Glixel | 80.000000 | 8.000000 | 1 |
| 326 | Gamereactor Norway | 80.000000 | 14.000000 | 1 |
327 rows × 4 columns
Et voici comment se répartissent les critiques. En couleur, on montre la note moyenne (pas de tendance qui se dégage)
On peut regarder, pour chaque critique, comment se répartissent leurs notes.
On voit ici deux publications ayant choisi des notes tous les 10 points, et une autre (IGN) qui semble avoir un système hybride - ou peut être ayant changé.
Le graph suivant indique, pour chaque Critique (par exemple FNintendo, Gamekult...) la note moyenne récuppérée sur Metacritic vs l'offset moyen (c'est à dire la différence moyenne entre la note donnée aux jeux par la critique et la note donnée par les utilisateurs de Metacritique)
La taille des points indique le nombre de jeux évalués par cette critiques sur Metacritic.
On note un outlier interessant dans le coin inférieur gauche - GameKult qui a tendance à noter les jeux plutôt bas, et à être moins généreux que les utilisateurs. C'est rare ! On voit ici que le nuage de points est autour de l'axe x=5, ce qui montre qu'en général, les sites sont plus généreux de 5 points que les utilisateurs.
2660 développeurs dans la base, le plus prolifique étant Capcom. Gardons en tête que chaque console est comptée individuellement (donc un jeu sorti sur 4 consoles est compté 4 fois), et que certains développeurs ont changé de nom au cours du temps (UbiSoft, EA Sports...)
| developer | title | |
|---|---|---|
| 0 | Capcom | 119 |
| 1 | Telltale Games | 108 |
| 2 | Square Enix | 70 |
| 3 | Nintendo | 63 |
| 4 | Bandai Namco Games | 53 |
| ... | ... | ... |
| 2655 | Kluge Interactive | 1 |
| 2656 | Klace | 1 |
| 2657 | Kite Games | 1 |
| 2658 | KissAssociates, Kiss | 1 |
| 2659 | yeo | 1 |
2660 rows × 2 columns
Voici le même tableau, en séparant par plateforme.
| developer | platform | title | |
|---|---|---|---|
| 0 | Telltale Games | PlayStation 4 | 53 |
| 1 | Telltale Games | Xbox One | 49 |
| 2 | Capcom | PlayStation 4 | 41 |
| 3 | Square Enix | PlayStation 4 | 31 |
| 4 | Nintendo | Switch | 29 |
| ... | ... | ... | ... |
| 4605 | Herobeat Studios | Switch | 1 |
| 4606 | Herobeat Studios | Xbox One | 1 |
| 4607 | HexaDrive | PlayStation 4 | 1 |
| 4608 | HexaDrive | Xbox One | 1 |
| 4609 | yeo | Switch | 1 |
4610 rows × 3 columns
Regardons par exemple tous les titres de From Software
0 Bloodborne 1 Bloodborne: The Old Hunters 2 Dark Souls II: Scholar of the First Sin 3 Dark Souls III 4 Dark Souls III: Ashes of Ariandel 5 Dark Souls III: The Ringed City 6 Dark Souls Remastered 7 Deracine 8 Sekiro: Shadows Die Twice 9 Elden Ring 10 Elden Ring 11 Dark Souls Remastered 12 Dark Souls II: Scholar of the First Sin 13 Dark Souls III 14 Dark Souls III: Ashes of Ariandel 15 Dark Souls III: The Ringed City 16 Dark Souls Remastered 17 Sekiro: Shadows Die Twice Name: title, dtype: object
On peut regarder les développeurs ayant les plus forts offset, c'est à dire le plus grand décallage moyens pour leurs jeux entre la note Meta et la note utilisateur.
| developer | avg_offset | num_games | avg_meta | avg_user | avg_ratio | |
|---|---|---|---|---|---|---|
| 2381 | Twice Circled | 62.0 | 1 | 78.0 | 16.0 | 1.250000 |
| 689 | Electronic Arts, EA Tiburon | 59.0 | 1 | 79.0 | 20.0 | 5.590909 |
| 288 | Blizzard Entertainment, Digital Eclipse | 57.0 | 1 | 75.0 | 18.0 | 1.142857 |
| 1824 | Red Cerberus | 55.0 | 1 | 82.0 | 27.0 | 6.909091 |
| 1030 | Huge Calf Studios | 55.0 | 1 | 72.0 | 17.0 | 0.750000 |
| ... | ... | ... | ... | ... | ... | ... |
| 2051 | Snowrunner Games | -31.0 | 1 | 30.0 | 61.0 | 3.444444 |
| 1900 | RunicCodes | -31.0 | 1 | 35.0 | 66.0 | 1.400000 |
| 1021 | Hoplite Research | -32.0 | 2 | 38.0 | 70.0 | 2.625000 |
| 1947 | Samustai | -42.0 | 1 | 41.0 | 83.0 | 1.000000 |
| 2125 | Square Enix, ilinx inc. | -45.0 | 1 | 37.0 | 82.0 | 6.153846 |
2660 rows × 6 columns
Un peu comme les jeux plus tot, regardons les développeurs - note Meta moyenne vs. note utilisateur moyenne, en affichant leur 'ratio' moyen (c'est à dire à quel point les revues pour ce développeurs sont susceptibles de recevoir un afflux d'utilisateurs)
Regardons l'évolution des notes Méta et utilisateurs pour les titres de certaines compagnies.